УДК 519.2	UDC 519.2	
		
08.00.13 Математические и инструментальные методы экономики (экономические науки)
	08.00.13 Mathematical and instrumental methods of Economics (economic sciences)	
ПРОЦЕСС ИТЕРАЦИИ ФОРМУЛ	FORMULAS ITERATION PROCESS	
Орлов Александр Иванович
д.э.н., д.т.н., к.ф.-м.н., профессор
РИНЦ SPIN-код: 4342-4994	Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci., professor	
Московский государственный технический университет им. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5, prof-orlov@mail.ru 	Bauman Moscow State Technical University, Moscow, Russia 	
		
В прикладной статистике и эконометрике важное место занимают критерии согласия типа омега-квадрат. Асимптотическое поведение их распределений находят с помощью принцип инвариантности Донскера - Прохорова, согласно которому функционалы от эмпирических процессов слабо сходятся к функционалам от соответствующих гауссовских процессов. Для проверки согласия с фиксированным распределением применяют классическую статистику омега-квадрат Крамера – Мизеса - Смирнова. С целью оценки скорости сходимости распределения этой статистики к пределу нами были разработаны и применены первоначальные варианты трех математических методов. Речь идет о методе аппроксимации ступенчатыми функциями, многомерном обобщении формулы Эйлера-Маклорена и процессе итерации формул. Первые два из них получили в дальнейшем значительное развитие и успешно применяются для решения различных задач прикладной статистики. Третий метод (процесс итерации формул) также имеет более широкую область применения, чем оценка скорости сходимости к пределу распределения конкретной статистики. Он применен для оценки скорости сходимости статистик интегрального типа, в том числе различных статистик типа омега-квадрат (в том числе статистик с весовой функцией, двухвыборочных статистик Лемана - Розенблатта и их обобщений), Полезные результаты получены для статистик типа Колмогорова-Смирнова и Реньи. Однако констатируем, что в целом влияние третьего метода на развитие прикладной статистики оказалось к настоящему времени заметно меньшим, чем для первых двух. На наш взгляд, это связано прежде всего с тем, что третий метод "скрыт" внутри обширной статьи, посвященной одной конкретной статистике Крамера - Мизеса - Смирнова. Он не был опубликован в отдельной публикации. Восполняем этот пробел и впервые публикуем процесс итерации формул в естественной достаточно общей постановке. Предварительно обсуждаем развитие исследований, посвященных оценкам скорости сходимости в принципе инвариантности и особенно применительно к статистике Крамера-Мизеса-Смирнова
	In applied statistics and econometrics, omega-square-type goodness-of-fit criteria occupy an important place. The asymptotic behavior of their distributions is found using the Donsker-Prokhorov invariance principle, according to which functionals of empirical processes weakly converge to functionals of the corresponding Gaussian processes. To check the agreement with a fixed distribution, the classical Cramer-Mises-Smirnov omega-square statistics are used. In order to estimate the rate of convergence of the distribution of this statistics to the limit, we developed and applied the initial versions of three mathematical methods. We are talking about the method of approximation by step functions, multidimensional generalization of the Euler-Maclaurin formula and the process of formula iteration. The first two of them were further developed significantly and are successfully used to solve various problems of applied statistics. The third method (the process of iterating formulas) also has a wider scope than estimating the rate of convergence to the limit of the distribution of a particular statistic. It is used to estimate the rate of convergence of integral-type statistics, including various omega-square-type statistics (including statistics with a weight function, two-sample Lehmann-Rosenblatt statistics and their generalizations). Useful results are obtained for statistics of the Kolmogorov-Smirnov and Rényi type. However, we state that, on the whole, the influence of the third method on the development of applied statistics has turned out to be noticeably smaller by now than for the first two. In our opinion, this is primarily due to the fact that the third method is "hidden" inside an extensive article devoted to one specific Cramer-Mises-Smirnov statistics. It was not published in a separate publication. We fill this gap and for the first time publish the process of iterating formulas in a natural, fairly general setting. We first discuss the development of studies devoted to estimates of the rate of convergence in the principle of invariance and especially in relation to Cramer-Mises-Smirnov statistics	
Ключевые слова: ПРИКЛАДНАЯ СТАТИСТИКА, СТАТИСТИКА КРАМЕРА-МИЗЕСА-СМИРНОВА, ПРИНЦИП ИНВАРИАНТНОСТИ, ОЦЕНИВАНИЕ СКОРОСТИ СХОДИМОСТИ РАСПРЕДЕЛЕНИЯ, ПРОЦЕСС ИТЕРАЦИИ ФОРМУЛ, МЕТОД АППРОКСИМАЦИИ СТУПЕНЧАТЫМИ ФУНКЦИЯМИ, МНОГОМЕРНОЕ ОБОБЩЕНИЕ ФОРМУЛЫ ЭЙЛЕРА-МАКЛОРЕНА

http://dx.doi.org/10.21515/1990-4665-182-020  
	Keywords: APPLIED STATISTICS, CRAMER-MISES-SMIRNOV STATISTICS, PRINCIPLE OF INVARIANCE, ESTIMATION OF THE RATE OF CONVERGENCE OF THE DISTRIBUTION, THE PROCESS OF FORMULA ITERATION, APPROXIMATION METHOD BY STEP FUNCTIONS, MULTIDIMENSIONAL GENERALIZATION OF THE EULER-MACLAURIN FORMULA

	1. Введение
	В прикладной статистике и эконометрике важное место занимают критерии согласия типа омега-квадрат. Изучение свойств этих критериев потребовало разработки новых математических инструментов. Так, при оценке скорости сходимости распределений статистик типа омега -квадрат (и критериев типа Колмогорова) ключевым инструментом оказался предложенный автором т.н. "процесс итерации формул" [1]. Однако он был глубоко включен в доказательства конкретных оценок, а потому не выделен как самостоятельный математический инструмент. Позже стало ясно, что этот инструмент может успешно применяться и других исследованиях. Поэтому представляется полезным описать его в общем виде, что мы и делаем в настоящей статье. Предварительно обсуждаем развитие исследований ряда авторов, посвященных оценкам скорости сходимости в принципе инвариантности и особенно применительно к статистике Крамера-Мизеса-Смирнова.

	2. Статистика Крамера - Мизеса - Смирнова и принцип инвариантности Донскера - Прохорова
	Проанализируем  развитие исследований в области предельных теорем, посвященных критериям согласия типа  (омега-квадрат). Процесс итерации формул занимает важное место в этих исследованиях.
	Пусть Fn(x) - эмпирическая функция распределения, построенная по выборке объема n из непрерывной функции F(x) (подробнее: элементы выборки  являются независимыми одинаково распределенными действительнозначными случайными величинами с общей непрерывной функцией распределения F(x)). Предположение непрерывности существенно упрощает теоретические рассуждения, более того, именно в предположении непрерывности справедливы обсуждаемые ниже предельные теоремы. Из этого предположения следует, что с вероятностью 1 все элементы выборки различны. Однако при анализе реальных данных встречаются совпадения, в частности, из-за того, что прагматические числа (т.е. используемые на практике) отличаются от математических тем, что записываются конечным (и небольшим) количеством значащих десятичных цифр (подробнее см. монографию [2])). Подходам к учету совпадений при анализе реальных данных посвящена статья [3]. 
	Рассмотрим классическую для непараметрической математической статистики задачу проверки согласия эмпирического распределения с полностью известным теоретическим.  Речь идет о проверке нулевой гипотезы (гипотезы согласия)
H0 : , 							
где F0(x) - та фиксированная непрерывная функция распределения, с которой при справедливости гипотезы согласия должна совпадать функция распределения выборки. Например, при проверке качества датчика псевдослучайных чисел проверяют согласие с равномерным распределением на отрезке [0: 1]. В дальнейшем используем наиболее распространенную на практике альтернативную гипотезу - отрицание нулевой гипотезы.
	Для проверки гипотезы согласия можно применять различные статистические критерии. Рассмотрим один из наиболее известных - критерий омега-квадрат. В результате развития работ шведа Г. Крамера [4] и австрийца Р. Мизеса [5] нашим соотечественником Н.В. Смирновым [6, 7] была предложена статистика
,					(1)
которая в современных литературных источниках называется статистикой Крамера - Мизеса - Смирнова.
	В процессе выработки вида статистики  полезной оказалась модификация В.И. Гливенко, который предложил заменить интегрирование по dx, которое было в первоначальных вариантах Крамера и Мизеса, на интегрирование по dF0(x). Такая модификация привела к тому, что при справедливости гипотезы согласия распределение статистики  не зависит от вида непрерывной функции распределения F0(x). 
	В функциональных пространствах можно различными способами вводить расстояния [8] и показатели различия [9]. С их помощью определяют известные статистики критериев проверки гипотезы согласия. Статистика Колмогорова - это расстояние между эмпирической функцией распределения Fn(x) и полностью известной теоретической функцией распределения F0(x), определяемое как супремум модуля разности между Fn(x) и F0(x). Статистика  - это квадрат расстояния в квадратичной метрике, в которой показатель различия задается интегралом от квадрата разности Fn(x) и F0(x). Статистика  не задает расстояние, но определяет показатель различия. Сказанное показывает естественность использования критериев Колмогорова и  для проверки гипотезы согласия. 
	В математической статистике рассматривают и другие гипотезы согласия, прежде всего согласия с тем или иным семейством параметрических распределений. В качестве примера обсудим проверку нормальности с помощью критериев типа Колмогорова и типа омега-квадрат. В формулы, задающие эти критерии, вместо полностью определенной теоретической функции распределения F0(x) подставляют ее оценки, полученные заменой в формуле для нормального распределения параметров этого распределения на их оценки. В качестве оценки математического ожидания используют выборочное среднее арифметическое элементов выборки, а в качестве оценки дисперсии - выборочную дисперсию. Эти критерии нормальности можно рассматривать в качестве расстояний и показателей различия между эмпирической функцией распределения и многообразием нормальных распределений. Другими словами расстояние измеряется не между двумя точками в функциональном пространстве, а между точкой и многообразием. Здесь расстояние между заданной точкой и многообразием - это минимум расстояний от заданной точки до точек многообразия. Естественно, распределения статистик для проверке гипотезы нормальности отличаются от их распределений при полностью известной теоретической функции распределения, процентные точки отличаются в разы. Если при проверке гипотезы нормальности применять те же процентные точки, что и при проверке согласия с полностью заданным распределением, то гипотеза нормальности будет приниматься гораздо чаще, чем следует, т.е. распределения, не являющиеся нормальными, будут ошибочно признаны нормальными. Незнание этого факта - причина распространенных ошибок при использовании непараметрических критериев типа Колмогорова и типа омега-квадрат, о чем подробно рассказано в статье [10], в которой приведены также процентные точки предельных распределений этих статистик.
	При изучении распределений непараметрических статистик часто используют эмпирический процесс
.					(2)
Легко видеть, что математическое ожидание, дисперсия и ковариационная функция эмпирического процесса таковы:
,		. 	
	Поскольку функция распределения F(x) элементов исходной выборки непрерывна, то, как легко показать, распределение случайной величины Y = F(X) является равномерным распределением на отрезке [0, 1].  Если с помощью преобразования Y = F(X) от выборки  перейти к выборке , где Yi = F(Xi), i = 1, 2, ..., n, то для любой непрерывной функции распределения F(x) получим выборку, взятую из равномерного распределения на отрезке [0, 1].
	Весьма важно, что распределения статистик  Колмогорова и  (см. (1)) не меняются при переходе от выборки к выборке . Другими словами, эти статистики измерены в порядковой шкале (см., например, [11, разд. 1.2, 5.3]). Следовательно, для изучения распределений этих статистик достаточно ограничиться выборками из равномерного распределения на отрезке [0, 1]. Соответствующий эмпирический процесс, в отличие от эмпирического процесса общего вида (2), имеет вид 
.						(3)
Он определен при . Для этого частного случая эмпирического процесса
,		. 		
	Рассмотрим гауссовский случайный процесс , , с теми же математическим ожиданием, дисперсией и ковариационной функцией, что и у эмпирического процесса (3):
,		. 			
Этот случайный процесс называется броуновским мостом.
	Согласно известному в теории случайных процессов принципу инвариантности Донскера - Прохорова (т.н. функциональной центральной предельной теореме) справедливы предельные теоремы для функционалов от процессов . Эти процессы слабо сходятся к броуновскому мосту , т.е. распределения функционалов от процессов  сходятся к распределениям соответствующих функционалов от броуновского моста  (см., например, [12]). В частности, распределение супремума от , т.е. распределение статистики Колмогорова, сходится к распределению
,							
а распределение статистики  (см. формулу (1)) - к распределению
.							
Таким образом, предельные распределения непараметрических статистик могут быть получены с помощью теории случайных процессов. Соответствующая теория (на основе принципа инвариантности Донскера - Прохорова) была развита в середине ХХ в. А до войны А.Н. Колмогоров и Н.В. Смирнов использовали другие методы получения предельных теорем. Позже нами был разработан более простой метод получения предельных распределений непараметрических статистик на основе аппроксимации ступенчатыми функциями [13].
	В работах [6,7] Н.В. Смирнов показал, что функция распределения Sn(z) статистики  сходится при  к некоторой предельной функции распределения S0(z). Как показал проведенный нами анализ, в приведенном Н.В. Смирновым разложении в ряд функции распределения S0(z) (см. [7, 14]), к сожалению, пропущен множитель (- 1)k, что приводит к расходимости ряда. Причина появления этой неточности - некорректное применение методов теории функций комплексных переменных. Этот факт отмечался несколькими исследователями независимо друг от друга, в частности, Г.В. Мартыновым и автором настоящей статьи. Исправленные формулы оказались полезными для вычислений. Например, они были использованы Г. В. Мартыновым [15, 16]. Исправление части доказательства леммы 6 в исходной статье Н.В. Смирнова [14], посвященной предельному распределению статистики  в виде обсуждаемого здесь ряда, получена нами совместно с С.А. Пироговым и опубликована в [1, замечание 1, с.783-784]. Для получения этого исправления используется теория функций комплексных переменных.
	Первые таблицы предельного распределения статистики  были получены американскими авторами в послевоенные годы. Результаты окончательных исследований отражены в "Таблицах  математической статистики" Л.Н. Большева и Н.В. Смирнова [17]. Монография [17], кроме собственно таблиц математической статистики, содержит подробные комментарии (более 100 страниц большого формата) и является непревзойденной вершиной отечественной научной школы в области математической статистики ХХ в. Монография Г.В. Мартынова посвящена различным вариантам критериев типа омега-квадрат [16].

3. Оценки скорости сходимости распределения статистики Крамера – Мизеса - Смирнова
После нахождения предельной функции распределения S0(x) наступил следующий этап исследований – оценивание скорости сходимости, т.е. скорости убывания максимального расхождения допредельной Sn(x) (при конкретном объеме выборки n) и предельной функций распределения S0(x) статистики . Рядом авторов изучалась величина
.					
Первым оценил эту величину Н.П. Канделаки в 1965 г.:
					
при всех n, где С – некоторая абсолютная константа [18].
Через три года В.В. Сазонов получил степенную оценку.. Он в 1968 г. показал [19], что для любого  существует константа  такая, что при всех n
						
В следующем 1969 г. ему удалось [20] улучшить свою оценку - заменить 1/10 на 1/6.
В том же 1969 г. американский исследователь В.А. Розенкранц доказал [21], что
						
где С – некоторая абсолютная константа.
В начале 1971 г. автор настоящей статьи предложил [22] метод оценки скорости сходимости. Важным составляющим оказалось полученное нами обобщение формулы Эйлера – Маклорена на многомерный случай (о дальнейшем применении этого обобщения рассказано в статье [23]), с помощью которого удалось установить, что для любого  существует константа  такая, что при всех n
.						
В середине 1971 г. нами был разработан принципиально новый метод – «процесс итерации формул» (его частный случай опубликован в [1, п.6], а полученная к настоящему времени общая формулировка впервые публикуется в настоящей статье). С  помощью этого метода удалось улучшить предыдущий результат - заменить 1/3на 1/2. Другими словами, было доказать, что для любого  существует константа  такая, что при всех n
.						(4)
Оценка (4) опубликована в 1972 - 1974 гг. – краткие формулировки в статье по ранее разработанной статике типа омега квадрат для проверке симметрии распределения [24] и в тезисах докладов [25 - 27], Подробному изложению посвящена статья [1].
О внимании математического сообщества к рассматриваемой тематике свидетельствует то, что в 1972 г. были выпущены две статьи с более слабыми результатами по сравнению с нашей первоначальной работой 1971 г. [22]). А именно, Я.Ю. Никитин доказал [28], что
,						
а американец Дж. Кифер [29] – что 
.						
В этих двух работах 1972 г. показатель степени был равен , т.е. меньше  в более ранней нашей работе [22] 1971 г. 
Для оценки скорости сходимости распределения статистики Крамера-Мизеса-Смирнова оказался полезным метод одного вероятностного пространства [30], разработанный группой венгерских исследователей. С его помощью Ш. Чёргё установил [31, 32], что 
.						(5) 
Опираясь на представление специального вида для характеристической функции статистики Крамера-Мизеса-Смирнова, Ш. Чёргё получил асимптотическое разложение для этой характеристической функции, начинающее с члена порядка n-1, а также представил формальное (т.е. без оценки остаточного члена) асимптотическое разложение функции распределения статистики . Эти результаты приводят к гипотезе [32]
.							 (6) 
К сожалению, в статье Ш. Чёргё [32] была обнаружена ошибка, которую он сам же позже исправил. 
В статье [1] было установлено, что оценка 
						
не может быть верна при a > 1.
Статистика Крамера-Мизеса-Смирнова - лишь один представитель многообразия статистик интегрального типа. Как показано в [33], для всех таких статистик справедлива оценка (4) и ее неравномерные (при наличии весовой функции) аналоги, в то время как оценки (5) и (6) относятся к одной конкретной статистике (1) - статистике  Крамера-Мизеса-Смирнова. При изучении скорости сходимости распределения этой статистики исследователи применяли различные методы. Для конкретной статистики   наилучшие результаты (5) и (6) удалось получить с помощью "метода единого вероятностного пространства", в то время как для обширного многообразия статистик интегрального типа наиболее эффективным оказался предложенный нами "процесс итерации формул". 
Более подробное описание развития исследований дано в статье [33] и разделе 2.3 "Оценки скорости сходимости в принципе инвариантности" монографии [34, с. 45-53]. Как следует из сказанного выше, сохранить первенство метода на основе "процесса итерации формул" при изучении скорости сходимости для функции распределения статистики омега-квадрат (Крамера - Мизеса - Смирнова) не удалось. Для этой конкретной статистики с помощью метода единого вероятностного пространства метода были получены более сильные результаты. Однако, как обычно и бывает, были "!проигравший" для статистики Крамера - Мизеса - Смирнова метод на основе "процесса итерации формул" позволил получен не превзойденные никем до сих пор оценки для похожих статистик, например, для статистики Лемана-Розенблатта типа омега-квадрат, предназначенной для проверки однородности двух независимых выборок.
Дальнейшие пути развития рассматриваемой тематики обсуждаются в статье [35]. В ней для рассматриваемой области сформулировано около 30 нерешенных задач. Это типичная ситуация – любое продвижение вперед порождает огромное число новых постановок. 
	Однако надежды на дальнейшее расширение исследований в заданном в статье [35] не оправдались. Математиков привлекало соревнование по конкретному вопросу (по классической статистике Крамера - Мизеса - Смирнова). Соревнование закончилось. В дальнейших возможных исследованиях принципиально новые методы и результаты не просматривались. 
	Полученные в ходе соревнования результаты относились к чистой математике. Нельзя ожидать пользы для прикладных работ в результате оценок скорости сходимости. Дело в том, что оценки получаются весьма завышенными, как это продемонстрировано в [36] Для получения практических рекомендаций целесообразно непосредственно сопоставлять допредельные и предельные распределения, используя, например, таблицы [17]. Для статистики Крамера - Мизеса - Смирнова  предельным распределением можно пользоваться уже при n > 5, а для статистики типа омега-квадрат, предназначенной для проверки симметрии распределения [37] и однородности для связанных выборок [38], - при n > 20, как показано в [39]. Универсальным подходом является применение метода Монте-Карло (статистических испытаний), как это продемонстрировано в [40].
	Проведенный в настоящем разделе анализ развития работ по оценке скорости сходимости для распределения статистики Крамера - Мизеса - Смирнова и других статистик интегрального супремумного типа представляет интерес в свете недавних работ по науковедению [41 - 43].
	По нашему мнению, процесс итерации формул может быть успешно применен для решения самых разных задач. Поэтому изложим его в общем  виде.

	4. Общая формулировка процесса итерации формул
	Сначала разберем основную идею процесса итерации формул в простейшем случае, а затем, постепенно усложняя постановки, придем к формулировке, использованной при оценке скорости сходимости распределений статистик интегрального типа, включая статистику критерия Крамера-Мизеса-Смирнова. Общая формулировка процесса итерации формул и связанные с ней теоремы публикуется впервые.
	Теорема 1. Пусть функции  положительных действительнозначных переменных  таких, что , и положительные константы  таковы, что 
			(7)
при всех .
	 Пусть функции  ограничены на области определения и, кроме того, 
,					(8)
.						(9)
	Тогда для любого  существует число  такое, что при всех  справедливо неравенство
,					(10)
где
.					(11)
	Доказательство. Положим  и выберем число  так, чтобы  и  равнялись одной и той же степени y, т.е. положим . В силу условия (9) теоремы 1  и . Из (7) и ограниченности функций  получаем, что
.					(12)
Положим теперь . В силу условия (9)
,					(13)
поэтому 
.				(14)
	Из соотношений (7), (12), (14) следует, что 
.					(15)
С помощью условия (8) получаем, что
.					(16)
Заменив в (16)  на x, получим
.					(17)
	Положим
.					(18)
Тогда  - ограниченная функция. Вместо (7) получаем представление
,					(19)
где
.					(20)
Для функции  и константы  выполнены требования, наложенные в условии теоремы 1 на  и .
	От представления (7) мы перешли к представлению (19), отличающемуся от (7) лишь заменой  на  и  на . К представлению (19) применим процедуру, которую только что применяли к (7). Получим  и . Затем снова применим ту же процедуру, и т.д. С помощью описанных только что итераций (это и есть простейший вариант процесса итерации формул) получим последовательность  показателей степеней в представлениях типа (7) и (19). Из формулы (20) видно, что эта последовательность удовлетворяет рекуррентному соотношению
,					(21)
где 
.					(22)
Одновременно с последовательностью показателей степеней  мы получаем последовательность оценок
,					(23)
где (см. (12))
.					(24)
	Преобразование  имеет, как легко видеть, две неподвижные точки: z = 0 и  . В силу условия (9) итерации начинаются с точки, лежащей правее обоих неподвижных точек. Легко видеть, что при 
					(25)
и соответственно , определенному в (11). Следовательно, для любого  найдется  такое, что , что и завершает доказательство теоремы 1.
	Вполне естественно, что теорема 1 может быть обобщена различными способами. При этом доказательство усложняется из-за наличия тех или иных технических деталей. 
	Теорема 2. Пусть функции  положительных аргументов x, y, 0 < x < 1, 0 < y <1, и положительные константы  таковы, что
					(26)
при всех . Пусть для любого  существует константа  такая, что
					(27)
при всех . Пусть
,					(28)
,						(29)
.					(30)
Тогда для любого  существует  такое, что при всех 
.					(31)
	Доказательство теоремы 2 отличается от доказательства теоремы 1 только некоторым усложнением формул и простыми дополнительными рассуждениями, связанными с тем, что, например, оценка (12) заменяется на следующий результат: для любого  существует число  такое, что 
.					(32)
Функция  определяется той же формулой (18), что и в теореме 1, но вместо ограниченности  получаем, что 
,					(33)
и так далее.
	Теорема 3. Пусть функции  положительных аргументов x, y, 0 < x < 1, 0 < y <1, и положительные константы  таковы, что
			(34)
при всех . Пусть для любого  существует константа  такая, что
		(35)
при всех . Пусть выполнены следующие условия:
;						(36)
существуют и положительны пределы
;					(37)
;						(38)
.	.					(39)
Тогда для любого  существует число  такое, что при всех 
.						(40)
	Доказательство. Сначала аналогично (12) получим при некотором  оценку
.					(41)
Затем положим . Тогда , если dj <1. Из аналогичного (15) соотношения
				(42)
получим, подставляя вместо y величины yj = djy, j = 1,...,l, следующие  соотношений
.				(43)
Поскольку dj можно выбрать так, чтобы матрица  была невырожденной (возможность выбора вытекает из того, что условие вырожденности задает гиперповерхность размерности l - 1 в l-мерном пространстве (d1,...,dl) ), то из (37) и (41) следует (см. также рассуждения при доказательстве теоремы 4 ниже), что 
.				(44)
Аналогично доказательству теоремы 2 получаем, что левая часть в формуле (44) равна 
,					(45)
где K1(i,x), i = 1,...,l,  удовлетворяют условию (35) настоящей теоремы, 
			(46)
(Отметим, что  , поэтому (ср. (20)
.)						(47)
	Из условия (36) настоящей теоремы следует, что
.				(48)
Если , то 
.			(49)
В силу (48) главным членом является член с i = 1. При всех итерациях достаточно рассматривать лишь его, и для завершения доказательства теоремы 3 достаточно повторить рассуждения теоремы 1.
	Теперь получим теорему, которая понадобится нам при оценке скорости сходимости распределений статистик интегрального типа, в частности, статистики критерия Крамера - Мизеса - Смирнова.
	Будем использовать обозначения
			(50)
	Теорема 4. Пусть функции 

положительных аргументов x, y(1),...,y(k), лежащих в интервале (0,1), и положительные константы   таковы, что
		(51)
при всех . Пусть для любого  существует константа  такая, что
		(52)
при всех . Пусть выполнены следующие условия:
;						(53)
						(54)
существуют и положительны пределы
;					(55)
;							(56)
.							(57)
Тогда для любого  существует число  такое, что при всех 
.							(58)
	Доказательство. Единственным новым моментом по сравнению с доказательством предыдущей теоремы является вывод из оценки суммы
				(59)
оценки того же порядка для каждого слагаемого
.				(60)
Остальные рассуждения проводятся аналогично. Естественно, что  из теоремы 3 заменяется на В1, и т.п.
	Выведем (60) из (59). Пусть . Если , то и  Подставим в (59) вместо , получим
				(61)
В сумме (59) имеется s(1)+...+s(l) = p слагаемых. Покажем, как от (59) перейти к выражению аналогичного вида, в котором уже не более чем (p-1) слагаемых. Выделим член с , единственный ввиду (54). Отметим, что в силу (52) и (55)
.				(62)
Функции 
			(63)
снова удовлетворяют условиям (52) и (55) настоящей теоремы. Поэтому
.				(64)
Подставим в (64)  вместо . Получим соотношение, отличающееся от (61) только заменой L на L1. Нам важно, что . Умножим полученное соотношение на  и вычтем из (64). Получим
				(65)
где функция
		(66)
снова удовлетворяет условиям (52) и (55) настоящей теоремы. В (65) стоит оценка аналогичной (59) суммы, в которой уже не более (p - 1) слагаемого. Точнее, в этой сумме ровно (p - 1) слагаемое, поскольку для L2 выполнено условие (55). А условие (55) для  выполнено тогда и тогда, когда
.				(67)
Значит, в качестве  можно использовать любую точку дополнения к объединению конечного числа гиперповерхностей в пространстве , определяемых равенствами
.				(68)
Непустота допустимого множества для  очевидна.
	Уменьшая каждый раз число слагаемых на единицу, за конечное число шагов дойдем до сумм из одного слагаемого, в них избавимся от L и получим искомые оценки (60). Доказательство теоремы 4 закончено.
	Замечание. Пусть 
.			(69)
Все рассуждения настоящего раздела остаются справедливыми, если вместо Qk использовать . Подобная замена приводит лишь к некоторому усложнению записей при доказательствах.

5. Процесс итерации формул при оценке скорости сходимости распределения статистики Крамера – Мизеса - Смирнова
	Продемонстрируем применение процесса итерации формул для оценки скорости сходимости распределения статистики Крамера – Мизеса - Смирнова. Подробное изложение с анализом всех деталей дано в статье [1]. Отметим, что в этой статье описан лишь частный случай процесса итерации формул.
	В соответствии с разделом 2 достаточно ограничиться выборками из равномерного распределения на отрезке [0, 1]. Соответствующий эмпирический процесс имеет вид  (см. (3)). Броуновский мост - это гауссовский случайный процесс , , с теми же математическим ожиданием, дисперсией и ковариационной функцией, что и у эмпирического процесса . Рассмотрим случайные величины
.					(70)
Необходимо оценить скорость убывания величины
. 				(71)
	Для решения этой задачи в статье [1] были разработаны первоначальные варианты трех методов, имеющих гораздо более широкую область применения, чем оценка скорости сходимости распределения статистики Крамера – Мизеса - Смирнова. Речь идет о методе аппроксимации ступенчатыми функциями, многомерному обобщении формулы Эйлера-Маклорена и процессе итерации формул.
	Для описания основной идеи первого из них введем m точек - центров интервалов, на которые разбита область определения эмпирического процесса и броуновского моста: 
.				(71)
Введем оператор A построения аппроксимации ступенчатыми (кусочно-постоянными) функциями. Для функции f(t), определенной на отрезке [0,1], он имеет вид:
		(72)
Очевидно, справедливы следующие разложения:
				(73)
.				(74)
	Первые слагаемые в формулах (73) и (74) являются функциями конечномерных векторов  и . Как правило, при росте объема выборки распределения  сходятся к распределению , а потому первые слагаемые в (73) сходятся по распределению к первому слагаемому в (74).
	Вторые слагаемые в (73) и (74) при росте m стремятся к 0. Так, справедливо следующее утверждение (лемма 4 в [1]).
	"Лемма 4. Существуют константы h(s), s = 1,2, ... такие, что при всех справедливы неравенства
.				(75)
Аналогичные неравенства выполнены и для второго слагаемого в (74)."
	С целью изучения распределений статистик интегрального типа нами разработан метод аппроксимации ступенчатыми функциями [44], описанный выше в простейшем случае. Связанные с ним утверждения приобрели большую прозрачность при переходе к банаховым пространствам [45], т.е. к значительно более общим постановкам по сравнению с первоначальным конечномерным вариантом. Дальнейшее обобщение позволило сделать метод аппроксимации ступенчатыми функциями одним из инструментов статистики в пространствах произвольной природы [46, 47]. В его рамках получен ряд необходимых и достаточных условий, показывающих невозможность дальнейшего обобщения. Отметим, что с его помощью можно решать практически тот же круг задач, что и  с помощью принципа инвариантности Донскера-Прохорова (см. раздел 2 выше).
	Второй метод нацелен на получение асимптотического разложения распределения первого слагаемого в правой части (73). Этот метод основан на двухэтапном обобщении классической формулы Эйлера-Маклорена.
	При применении ряда методов прикладной статистики возникает необходимость вычисления сумм по целочисленным точкам:
,				(76)
где  – достаточно гладкая функция. Таким образом, требуется просуммировать значения функции  в  точках, отстоящих друг от друга на расстояние , начиная с точки  и заканчивая точкой a + (n - 1)h. В качестве примера можно указать на теорему Муавра-Лапласа, в которой необходимо провести суммирование биномиальных вероятностей, чтобы вычислить вероятность попадания биномиально распределенной случайной величины в заданный интервал. 
	Классическая формула Эйлера-Маклорена имеет вид [48, п.465]:
		(77)
В этой формуле  – остаточный член порядка , выписанный в [48, с.540], 
.			(78)
Здесь  есть -е число Бернулли [48, п.449]. В частности, при p = 1,2, 3: 
.				(78)
	Формулу Эйлера-Маклорена целесообразно обобщить по следующей причине. 
	Очевидным недостатком классической формулы Эйлера-Маклорена является ее несимметричность – левый конец отрезка , по которому проводится интегрирование, входит в число точек, значения функции в которых суммируется, а правый – нет. Этот недостаток связан с тем, что каждому слагаемому в (76) ставится в соответствие отрезок длины , значение функции  в левом конце которого и есть рассматриваемое слагаемое. Как следствие, результаты расчетов по формуле (77) меняются при изменении направления оси -ов.
	Чтобы избавиться от этого недостатка, слагаемому  (где  при некотором ) поставим в соответствие отрезок , симметричный относительно этой точки. Интегрирование будет проводится не по отрезку [a, a + nh], как в (77), а по сдвинутому влево на h/2 отрезку [a - h/2, a +h(2n - 1)/2n], а в аналогичной (77) формуле исчезнут члены с производными нечетких порядков. 
	Это - первый этап обобщения классической формулы Эйлера-Маклорена. Второй этап состоит в переходе к многомерному случаю. При этом каждая включенная в область суммирования точка рассматривалась как центр куба, что позволило рассматривать только слагаемые с частными производными четных порядков. Применения рассматриваемого обобщения классической формулы Эйлера-Маклорена при статистическом анализе сгруппированных данных рассмотрены в статьях [23, 49, 50].
	На основе метода аппроксимации ступенчатыми функциями и многомерного обобщения формулы Эйлера-Маклорена в [1] получено следующее базовое утверждение.
	"Лемма 14. При  для любого  число  такое, что 
, 		(79)
где , константа в O(n-1) не зависит от z, функции K(z,i,m), i = 1,...,T, удовлетворяют условию 
 					(80)
для i =1,...,T и некоторой константы ".
	В [1] установлено, что поскольку можно ограничиться только слагаемыми с частными производными четных порядков, то в сумме в (79) член с i=1 исчезает. Следовательно, сумма в правой части (79) имеет порядок m2n-1, в то время как второе слагаемое имеет порядок    Выбор m в (79) находится в распоряжении исследователя. Можно принять, что m2n-1 = m-1, т.е. . Тогда при достаточно малом  первое и второе слагаемые в (79) близки по порядку. Следовательно, справедлива первоначальная оценка  , полученная нами в работе [22].
	Применение процесса итерации формул, исходя из (79) и (4), приводит к оценке скорости сходимости (4), наилучшей для многообразия статистик интегрального типа. Строгое изложение этого результата достаточно трудоемко. Статья [1] посвящена его доказательству. Выше кратко описаны основные идеи этого доказательства.

6. Заключительные замечания
	Как показано в настоящей статье, для оценки скорости сходимости распределения статистики Крамера – Мизеса - Смирнова в статье [1] были разработаны и применены первоначальные варианты трех математических методов. Перечислим их. Это метод аппроксимации ступенчатыми функциями, многомерное обобщение формулы Эйлера-Маклорена и процесс итерации формул. Первые два из них получили дальнейшее развитие и были успешно применены для решения различных задач прикладной статистики, как показано в разделе 5 настоящей статьи.
	Третий метод (процесс итерации формул) также имеет более широкую область применения, чем оценка скорости сходимости к пределу распределения статистики омега-квадрат Крамера – Мизеса - Смирнова. Он был применен для оценки скорости сходимости статистик интегрального типа, в частности, различных статистик типа омега-квадрат (в том числе статистик с весовыми функциями, двухвыборочных статистик Лемана - Розенблатта и их обобщений), Полезные результаты были получены для статистик типа Колмогорова-Смирнова и Реньи. Обзор перечисленных результатов дан в статье [35]. 
	Однако приходится констатировать, что в целом влияние третьего метода на развитие прикладной статистики оказалось к настоящему времени заметно меньшим, чем влияние первых двух методов. На наш взгляд, это связано не в последнюю очередь с тем, что третий метод "скрыт" внутри статьи [1], посвященной одной конкретной статистике омега-квадрат Крамера - Мизеса - Смирнова. Он не был опубликован в отдельной статье. Восполняем этот пробел и впервые публикуем процесс итерации формул в естественной достаточно общей постановке.
	Автор искренне благодарен акад. В.И. Арнольду за полезные обсуждения первоначального варианта общей формулировки процесса итерации формул.

	Литература
1.	Орлов А.И. Скорость сходимости распределения статистики Мизеса-Смирнова // Теория вероятностей и ее применения. 1974. Т.19. №4. С.766-786. 
2.	Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. Монография (научное издание). – Краснодар, КубГАУ. 2014. – 600 с. 
3.	Орлов А.И. Модель анализа совпадений при расчете непараметрических ранговых статистик // Заводская лаборатория. Диагностика материалов. 2017. Т.83. №11. С. 66-72.
4.	Cramer H. On the composition of elementary errors // Scand. aktuarientidskr. 1928. V.11. P. 17-34, 141-180.
5.	Mises R. von. Wahrscheinlichkeitsrechnung und ihre Anwendung in der Statistik und theoretischen Physik. - Leipzig - Wien : Deuticke, 1931. - 574 pp.
6.	Smirnoff N.V. Sur la distribution de  (criterium de M. R. v. Mises) // Compt. rend. ser. math. (Paris). 1936. V. 202. N 6. P. 449-452. 
7.	Смирнов Н.В. О распределении  - критерия Мизеса // Математический сборник. 1937. Т.2(44). №5. С. 973-993.
8.	Орлов А.И. Расстояния в пространствах статистических данных // Научный журнал КубГАУ. 2014. № 101. С. 227 – 252. 
9.	Орлов А.И. Естественные показатели различия // Научный журнал КубГАУ. 2020. №163. С. 248 – 264. 
10.	Орлов А.И. Непараметрические критерии согласия Колмогорова, Смирнова, омега-квадрат и ошибки при их применении // Научный журнал КубГАУ. 2014. № 97. С. 32-45.
11.	Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 671 с.
12.	Биллингсли П. Сходимость вероятностных мер. - М., Наука, 1977. - 351 с.
13.	Орлов А.И. Предельная теория непараметрических статистик // Научный журнал КубГАУ. 2014. № 100. С. 31-52.
14.	Смирнов Н.В. Приближение законов распределения случайных величин по эмпирическим данным // Успехи математических наук. 1944. Т. X. С. 179—206.
15.	Мартынов Г.В. Вычисление предельного распределения статистик критерия нормальности типа  // Теория вероятностей и ее применения 1973. Т. XVIII, №3. С.671—673
16.	Мартынов Г.В. Критерии омега-квадрат. - М.: Наука, 1978. -  80 с.
17.	Большев Л. Н., Смирнов Н. В. Таблицы математической статистики / 3-е изд. – М.: Наука, 1983. - 416 с. 
18.	Канделаки Н.П. Об одной предельной теореме в пространстве Гильберта // Труды ВЦ АН ГССР. 1965. Т.5. №1. С.46-55.
19.	Sazonov V.V. On  – criterion // Sankhya. Ser.A. 1968. V.30. N 2. P. 205 – 209.
20.	Сазонов В.В. Улучшение одной оценки скорости сходимости // Теория вероятностей и ее применения. 1969. Т.14. №4. С.667-678.
21.	Rosenkrantz W.A. A rate of convergence for the von Mises statistic // Trans. Amer. Math. Soc. 1969. V.139. P.329 – 337.
22.	Орлов А.И. Оценки скорости сходимости к пределу распределений некоторых статистик // Теория вероятностей и ее применения. 1971. Т.16. №3. С.583-584.
23.	Орлов А.И. Статистическое оценивание для сгруппированных данных // Научный журнал КубГАУ. 2014. №98. С. 1097 – 1117.
24.	Орлов А.И. О проверке симметрии распределения // Теория вероятностей и ее применения. 1972. Т.17. №.2. С.372-377.
25.	Орлов А.И. Предельные теоремы для статистик интегрального типа // Тезисы докладов Международной конференции по теории вероятностей и математической статистике (Вильнюс, 25-30 июня 1973 г.). Т.2. - Вильнюс: Изд-во Вильнюсского госуниверситета, 1973. С.137-140.
26.	Орлов А.И. Переход от сумм к интегралам и его применения в изучении асимптотических распределений статистик // Теория вероятностей и ее применения. 1973. Т.18. №4. С. 881-883.
27.	Орлов А.И. Применение критериев типа омега-квадрат для проверки принадлежности функции распределения выборки некоторому семейству // Многомерный статистический анализ в социально-экономических исследованиях. - М.: Наука, 1974. С. 401-403.
28.	Никитин Я.Ю. Оценки скорости сходимости в некоторых предельных теоремах и статистических критериях // Доклады АН СССР, 1972. Т.202. №4. С. 758-760.
29.	Kiefer J. Skorohod embedding of multivariate RV’s and the sample DF // Z. Wahrscheinlichkeitstheor. und verw. Geb. 1972. V.24. №1. P. 1-35.
30.	 M., Komlos O., Major P., R P., Tusnady G. Strong laws of invariance principle // Carleton Math. Series. N 106. Р. 1-45.
31.	Чёргё S. Асимптотическое разложение для преобразования Лапласа -критерия фон Мизеса // Теория вероятностей и ее применения. 1975. Т.20. №1. С. 158-162.
32.	 Ш. On an asymptotic expansion for the von Mises  statistic // Acta Sci. Math. 1976. V.38. N 1 - 2. P. 45-67.
33.	Орлов А.И. Неравномерные оценки скорости сходимости в принципе инвариантности // Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. - Пермь: Изд-во Пермского государственного университета, 1980. - С. 135-146. 
34.	Орлов А.И. Устойчивость в социально-экономических моделях. — М.: Наука, 1979. — 296 с.
35.	Орлов А.И. Некоторые проблемы устойчивости  в социально-экономических моделях и статистике, I // Избранные вопросы теории вероятностей и математической экономики. - М.: Изд-во ЦЭМИ АН СССР, 1977. С. 47-91. 
36.	Орлов А.И., Орловский И.В. Оценка остаточного члена порядка n-2 для функции распределения двухвыборочной статистики Смирнова // Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. – Пермь: Изд-во Пермского государственного университета, 1978. - С. 100-109.
37.	Орлов А.И. О проверке симметрии распределения // Теория вероятностей и ее применения.1972. Т.17. №2. С. 372-377.
38.	Орлов А.И. О проверке однородности связанных выборок // Научный журнал КубГАУ 2016. № 123. С. 708–726.
39.	Srinivasan R., Godio L.B. A Cramer - von Mises type statistic for testing symmetry // Biometrika. 1974. V.61. N 1. P. 196-198. 
40.	Орлов А.И. Применение метода Монте-Карло при изучении свойств статистических критериев однородности двух независимых выборок // Научный журнал КубГАУ. 2019. №154. С. 55 – 83. 
41.	Орлов А.И. Статистические и экспертные методы в задачах экономики и управления наукой // Научный журнал КубГАУ. 2021. №166. С. 1 – 35.
42.	Орлов А.И. Наукометрия и экспертиза в управлении наукой: развитие и борьба полюсов // Научный журнал КубГАУ. 2021. №173. С. 143–166.
43.	Орлов А.И. Единство и борьба полюсов в развитии науки // Научный журнал КубГАУ. 2022. №176. С. 156–180. 
44.	Орлов А.И. Асимптотическое поведение статистик интегрального типа // Доклады АН СССР. 1974. Т.219. № 4. С. 808-811. 
45.	Орлов А.И. Асимптотическое поведение статистик интегрального типа // Вероятностные процессы и их приложения. Межвузовский сборник научных трудов. М.: МИЭМ, 1989. С.118-123.
46.	Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч. 1. Нечисловая статистика. М.: Изд-во МГТУ им. Н.Э. Баумана, 2009. 541 с.
47.	Орлов А.И. Предельная теория непараметрических статистик // Научный журнал КубГАУ. 2014. № 100. С. 31-52.
48.	Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления. Т.2. – М.: Наука, 1966. – 800 с. 
49.	Орловский И.В., Орлов А.И. О поправках на группировку // Прикладной многомерный статистический анализ. Ученые записки по статистике, т.33. - М.: Наука, 1978. - С. 339-342. 
50.	Орлов А.И. Оценивание для сгруппированных данных // Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. / Перм. гос. нац. иссл. ун-т. – Пермь, 2012 – Вып. 24 – С. 83-95.

References
1.	Orlov A.I. Skorost' shodimosti raspredelenija statistiki Mizesa-Smirnova // Teorija verojatnostej i ee primenenija. 1974. T.19. №4. S.766-786. 
2.	Orlov A.I., Lucenko E.V. Sistemnaja nechetkaja interval'naja matematika. Monografija (nauchnoe izdanie). – Krasnodar, KubGAU. 2014. – 600 s. 
3.	Orlov A.I. Model' analiza sovpadenij pri raschete neparametricheskih rangovyh statistik // Zavodskaja laboratorija. Diagnostika materialov. 2017. T.83. №11. S. 66-72.
4.	Cramer H. On the composition of elementary errors // Scand. aktuarientidskr. 1928. V.11. P. 17-34, 141-180.
5.	Mises R. von. Wahrscheinlichkeitsrechnung und ihre Anwendung in der Statistik und theoretischen Physik. - Leipzig - Wien : Deuticke, 1931. - 574 pp.
6.	Smirnoff N.V. Sur la distribution de   (criterium de M. R. v. Mises) // Compt. rend. ser. math. (Paris). 1936. V. 202. N 6. P. 449-452. 
7.	Smirnov N.V. O raspredelenii   - kriterija Mizesa // Matematicheskij sbornik. 1937. T.2(44). №5. S. 973-993.
8.	Orlov A.I. Rasstojanija v prostranstvah statisticheskih dannyh // Nauchnyj zhurnal KubGAU. 2014. № 101. S. 227 – 252. 
9.	Orlov A.I. Estestvennye pokazateli razlichija // Nauchnyj zhurnal KubGAU. 2020. №163. S. 248 – 264. 
10.	Orlov A.I. Neparametricheskie kriterii soglasija Kolmogorova, Smirnova, omega-kvadrat i oshibki pri ih primenenii // Nauchnyj zhurnal KubGAU. 2014. № 97. S. 32-45.
11.	Orlov A.I. Prikladnaja statistika. - M.: Jekzamen, 2006. - 671 s.
12.	Billingsli P. Shodimost' verojatnostnyh mer. - M., Nauka, 1977. - 351 s.
13.	Orlov A.I. Predel'naja teorija neparametricheskih statistik // Nauchnyj zhurnal KubGAU. 2014. № 100. S. 31-52.
14.	Smirnov N.V. Priblizhenie zakonov raspredelenija sluchajnyh velichin po jempiricheskim dannym // Uspehi matematicheskih nauk. 1944. T. X. S. 179—206.
15.	Martynov G.V. Vychislenie predel'nogo raspredelenija statistik kriterija normal'nosti tipa   // Teorija verojatnostej i ee primenenija 1973. T. XVIII, №3. S.671—673
16.	Martynov G.V. Kriterii omega-kvadrat. - M.: Nauka, 1978. -  80 s.
17.	Bol'shev L. N., Smirnov N. V. Tablicy matematicheskoj statistiki / 3-e izd. – M.: Nauka, 1983. - 416 s. 
18.	Kandelaki N.P. Ob odnoj predel'noj teoreme v prostranstve Gil'berta // Trudy VC AN GSSR. 1965. T.5. №1. S.46-55.
19.	Sazonov V.V. On   – criterion // Sankhya. Ser.A. 1968. V.30. N 2. P. 205 – 209.
20.	Sazonov V.V. Uluchshenie odnoj ocenki skorosti shodimosti // Teorija verojatnostej i ee primenenija. 1969. T.14. №4. S.667-678.
21.	Rosenkrantz W.A. A rate of convergence for the von Mises statistic // Trans. Amer. Math. Soc. 1969. V.139. P.329 – 337.
22.	Orlov A.I. Ocenki skorosti shodimosti k predelu raspredelenij nekotoryh statistik // Teorija verojatnostej i ee primenenija. 1971. T.16. №3. S.583-584.
23.	Orlov A.I. Statisticheskoe ocenivanie dlja sgruppirovannyh dannyh // Nauchnyj zhurnal KubGAU. 2014. №98. S. 1097 – 1117.
24.	Orlov A.I. O proverke simmetrii raspredelenija // Teorija verojatnostej i ee primenenija. 1972. T.17. №.2. S.372-377.
25.	Orlov A.I. Predel'nye teoremy dlja statistik integral'nogo tipa // Tezisy dokladov Mezhdunarodnoj konferencii po teorii verojatnostej i matematicheskoj statistike (Vil'njus, 25-30 ijunja 1973 g.). T.2. - Vil'njus: Izd-vo Vil'njusskogo gosuniversiteta, 1973. S.137-140.
26.	Orlov A.I. Perehod ot summ k integralam i ego primenenija v izuchenii asimptoticheskih raspredelenij statistik // Teorija verojatnostej i ee primenenija. 1973. T.18. №4. S. 881-883.
27.	Orlov A.I. Primenenie kriteriev tipa omega-kvadrat dlja proverki prinadlezhnosti funkcii raspredelenija vyborki nekotoromu semejstvu // Mnogomernyj statisticheskij analiz v social'no-jekonomicheskih issledovanijah. - M.: Nauka, 1974. S. 401-403.
28.	Nikitin Ja.Ju. Ocenki skorosti shodimosti v nekotoryh predel'nyh teoremah i statisticheskih kriterijah // Doklady AN SSSR, 1972. T.202. №4. S. 758-760.
29.	Kiefer J. Skorohod embedding of multivariate RV’s and the sample DF // Z. Wahrscheinlichkeitstheor. und verw. Geb. 1972. V.24. №1. P. 1-35.
30.	  M., Komlos O., Major P., R  P., Tusnady G. Strong laws of invariance principle // Carleton Math. Series. N 106. R. 1-45.
31.	Chjorgjo S. Asimptoticheskoe razlozhenie dlja preobrazovanija Laplasa  -kriterija fon Mizesa // Teorija verojatnostej i ee primenenija. 1975. T.20. №1. S. 158-162.
32.	  Sh. On an asymptotic expansion for the von Mises   statistic // Acta Sci. Math. 1976. V.38. N 1 - 2. P. 45-67.
33.	Orlov A.I. Neravnomernye ocenki skorosti shodimosti v principe invariantnosti // Statisticheskie metody ocenivanija i proverki gipotez. Mezhvuzovskij sbornik nauchnyh trudov. - Perm': Izd-vo Permskogo gosudarstvennogo universiteta, 1980. - S. 135-146. 
34.	Orlov A.I. Ustojchivost' v social'no-jekonomicheskih modeljah. — M.: Nauka, 1979. — 296 s.
35.	Orlov A.I. Nekotorye problemy ustojchivosti  v social'no-jekonomicheskih modeljah i statistike, I // Izbrannye voprosy teorii verojatnostej i matematicheskoj jekonomiki. - M.: Izd-vo CJeMI AN SSSR, 1977. S. 47-91. 
36.	Orlov A.I., Orlovskij I.V. Ocenka ostatochnogo chlena porjadka n-2 dlja funkcii raspredelenija dvuhvyborochnoj statistiki Smirnova // Statisticheskie metody ocenivanija i proverki gipotez. Mezhvuzovskij sbornik nauchnyh trudov. – Perm': Izd-vo Permskogo gosudarstvennogo universiteta, 1978. - S. 100-109.
37.	Orlov A.I. O proverke simmetrii raspredelenija // Teorija verojatnostej i ee primenenija.1972. T.17. №2. S. 372-377.
38.	Orlov A.I. O proverke odnorodnosti svjazannyh vyborok // Nauchnyj zhurnal KubGAU 2016. № 123. S. 708–726.
39.	Srinivasan R., Godio L.B. A Cramer - von Mises type statistic for testing symmetry // Biometrika. 1974. V.61. N 1. P. 196-198. 
40.	Orlov A.I. Primenenie metoda Monte-Karlo pri izuchenii svojstv statisticheskih kriteriev odnorodnosti dvuh nezavisimyh vyborok // Nauchnyj zhurnal KubGAU. 2019. №154. S. 55 – 83. 
41.	Orlov A.I. Statisticheskie i jekspertnye metody v zadachah jekonomiki i upravlenija naukoj // Nauchnyj zhurnal KubGAU. 2021. №166. S. 1 – 35.
42.	Orlov A.I. Naukometrija i jekspertiza v upravlenii naukoj: razvitie i bor'ba poljusov // Nauchnyj zhurnal KubGAU. 2021. №173. S. 143–166.
43.	Orlov A.I. Edinstvo i bor'ba poljusov v razvitii nauki // Nauchnyj zhurnal KubGAU. 2022. №176. S. 156–180. 
44.	Orlov A.I. Asimptoticheskoe povedenie statistik integral'nogo tipa // Doklady AN SSSR. 1974. T.219. № 4. S. 808-811. 
45.	Orlov A.I. Asimptoticheskoe povedenie statistik integral'nogo tipa // Verojatnostnye processy i ih prilozhenija. Mezhvuzovskij sbornik nauchnyh trudov. M.: MIJeM, 1989. S.118-123.
46.	Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie : uchebnik : v 3 ch. Ch. 1. Nechislovaja statistika. M.: Izd-vo MGTU im. N.Je. Baumana, 2009. 541 s.
47.	Orlov A.I. Predel'naja teorija neparametricheskih statistik // Nauchnyj zhurnal KubGAU. 2014. № 100. S. 31-52.
48.	Fihtengol'c G.M. Kurs differencial'nogo i integral'nogo ischislenija. T.2. – M.: Nauka, 1966. – 800 s. 
49.	Orlovskij I.V., Orlov A.I. O popravkah na gruppirovku // Prikladnoj mnogomernyj statisticheskij analiz. Uchenye zapiski po statistike, t.33. - M.: Nauka, 1978. - S. 339-342. 
50.	Orlov A.I. Ocenivanie dlja sgruppirovannyh dannyh // Statisticheskie metody ocenivanija i proverki gipotez: mezhvuz. sb. nauch. tr. / Perm. gos. nac. issl. un-t. – Perm', 2012 – Vyp. 24 – S. 83-95.